Python ma'lumotlar bazasi dvigateli: B-tree indeksini amalga oshirish - chuqur tahlil

Ma'lumotlarni boshqarish sohasida ma'lumotlar bazasi dvigatellari ma'lumotlarni samarali saqlash, olish va boshqarishda hal qiluvchi rol o'ynaydi. Har qanday yuqori samarali ma'lumotlar bazasi dvigatelining asosiy tarkibiy qismi uning indekslash mexanizmidir. Turli indekslash usullari orasida B-tree (Muvozanatlangan daraxt) ko'p qirrali va keng qo'llaniladigan yechim sifatida ajralib turadi. Ushbu maqola Python-ga asoslangan ma'lumotlar bazasi dvigateli doirasida B-tree indeksini amalga oshirishni chuqur o'rganishni ta'minlaydi.

B-tree'larni tushunish

Amalga oshirish tafsilotlariga kirishdan oldin, B-tree'larni yaxshilab tushunib olaylik. B-tree – bu tartiblangan ma'lumotlarni saqlaydigan va logarifmik vaqt ichida qidirish, ketma-ket kirish, kiritish va o'chirish imkonini beruvchi o'z-o'zini muvozanatlovchi daraxt ma'lumotlar tuzilmasidir. Ikkilik qidiruv daraxtlaridan farqli o'laroq, B-tree'lar diskka asoslangan xotira uchun maxsus mo'ljallangan bo'lib, diskdan ma'lumot bloklariga kirish xotiradagi ma'lumotlarga kirishdan sezilarli darajada sekinroqdir. Quyida B-tree'ning asosiy xususiyatlari keltirilgan:

• Tartiblangan ma'lumotlar: B-tree'lar ma'lumotlarni tartiblangan holda saqlaydi, bu samarali diapazonli so'rovlarni va tartiblangan ma'lumotlarni olishni ta'minlaydi.
• O'z-o'zini muvozanatlash: B-tree'lar muvozanatni saqlash uchun o'z tuzilishini avtomatik ravishda sozlaydi, bu ko'p miqdordagi kiritish va o'chirishlar bo'lganda ham qidiruv va yangilash operatsiyalari samarali bo'lishini ta'minlaydi. Bu muvozanatlanmagan daraxtlardan farq qiladi, u erda eng yomon holatlarda ishlash chiziqli vaqtgacha yomonlashishi mumkin.
• Diskga yo'naltirilgan: B-tree'lar har bir so'rov uchun zarur bo'lgan disk I/O operatsiyalari sonini minimallashtirish orqali diskga asoslangan xotira uchun optimallashtirilgan.
• Tugunlar: B-tree'dagi har bir tugun bir nechta kalitlar va bola ko'rsatkichlarini o'z ichiga olishi mumkin, bu B-tree tartibi (yoki tarmoqlanish omili) bilan belgilanadi.
• Tartib (tarmoqlanish omili): B-tree tartibi tugun ega bo'lishi mumkin bo'lgan maksimal bola sonini belgilaydi. Yuqori tartib odatda sayozroq daraxtga olib keladi, bu diskga kirishlar sonini kamaytiradi.
• Ildiz tuguni: Daraxtning eng yuqori tuguni.
• Barg tugunlar: Daraxtning eng past darajadagi tugunlari bo'lib, ular haqiqiy ma'lumotlar yozuvlariga (yoki qator identifikatorlariga) ko'rsatkichlarni o'z ichiga oladi.
• Ichki tugunlar: Ildiz yoki barg tugunlari bo'lmagan tugunlar. Ular qidiruv jarayonini boshqarish uchun ajratuvchi vazifasini o'taydigan kalitlarni o'z ichiga oladi.

B-tree operatsiyalari

B-tree'larda bir nechta asosiy operatsiyalar bajariladi:

• Qidiruv: Qidiruv operatsiyasi daraxtni ildizdan barggacha kesib o'tadi, har bir tugundagi kalitlar tomonidan boshqariladi. Har bir tugunda, qidiruv kalitining qiymatiga asoslanib, tegishli bola ko'rsatkichi tanlanadi.
• Kiritish: Kiritish yangi kalitni kiritish uchun tegishli barg tugunini topishni o'z ichiga oladi. Agar barg tuguni to'la bo'lsa, u ikkita tugunga bo'linadi va o'rta kalit ota tugunga ko'tariladi. Bu jarayon yuqoriga qarab tarqalishi mumkin, bu esa tugunlarni ildizgacha bo'lishi mumkin.
• O'chirish: O'chirish o'chirilishi kerak bo'lgan kalitni topishni va uni o'chirishni o'z ichiga oladi. Agar tugun to'lmagan bo'lsa (ya'ni, kalitlarning minimal sonidan kam bo'lsa), kalitlar aka-uka tugunidan olinadi yoki aka-uka tugun bilan birlashtiriladi.

B-tree indeksini Pythonda amalga oshirish

Endi B-tree indeksini Python-da amalga oshirishga to'xtalamiz. Biz asosiy komponentlar va algoritmiklarga e'tibor qaratamiz.

Ma'lumotlar tuzilmalari

Avval B-tree tugunlari va umumiy daraxtni ifodalovchi ma'lumotlar tuzilmalarini aniqlaymiz:

class BTreeNode:
    def __init__(self, leaf=False):
        self.leaf = leaf
        self.keys = []
        self.children = []

class BTree:
    def __init__(self, t):
        self.root = BTreeNode(leaf=True)
        self.t = t  # Minimum degree (determines the maximum number of keys in a node)

Ushbu kodda:

• BTreeNode B-tree'dagi tugunni ifodalaydi. U tugunning barg ekanligini, o'z ichiga olgan kalitlarni va bolalariga ko'rsatkichlarni saqlaydi.
• BTree umumiy B-tree tuzilishini ifodalaydi. U ildiz tugunini va daraxtning tarmoqlanish omilini belgilaydigan minimal darajani (t) saqlaydi. Yuqori t odatda kengroq, sayozroq daraxtga olib keladi, bu diskka kirishlar sonini kamaytirish orqali unumdorlikni oshirishi mumkin.

Qidiruv operatsiyasi

Qidiruv operatsiyasi B-tree'ni ma'lum bir kalitni topish uchun rekursiv ravishda aylanib chiqadi:

def search(node, key):
    i = 0
    while i < len(node.keys) and key > node.keys[i]:
        i += 1
    if i < len(node.keys) and key == node.keys[i]:
        return node.keys[i]  # Key found
    elif node.leaf:
        return None  # Key not found
    else:
        return search(node.children[i], key)  # Recursively search in the appropriate child

Ushbu funksiya:

• Joriy tugundagi kalitlarni qidiruv kalitidan katta yoki unga teng kalitni topmaguncha takrorlaydi.
• Agar qidiruv kaliti joriy tugunda topilsa, kalitni qaytaradi.
• Agar joriy tugun barg tugun bo'lsa, bu kalit daraxtda topilmaganligini bildiradi, shuning uchun None qaytaradi.
• Aks holda, tegishli bola tugunida search funksiyasini rekursiv ravishda chaqiradi.

Kiritish operatsiyasi

Kiritish operatsiyasi murakkabroq bo'lib, muvozanatni saqlash uchun to'la tugunlarni bo'lishni o'z ichiga oladi. Quyida soddalashtirilgan versiyasi keltirilgan:

def insert(tree, key):
    root = tree.root
    if len(root.keys) == (2 * tree.t) - 1:  # Root is full
        new_root = BTreeNode()
        tree.root = new_root
        new_root.children.insert(0, root)
        split_child(tree, new_root, 0)  # Split the old root
        insert_non_full(tree, new_root, key)
    else:
        insert_non_full(tree, root, key)


def insert_non_full(tree, node, key):
    i = len(node.keys) - 1
    if node.leaf:
        node.keys.append(None) # Make space for the new key
        while i >= 0 and key < node.keys[i]:
            node.keys[i + 1] = node.keys[i]
            i -= 1
        node.keys[i + 1] = key
    else:
        while i >= 0 and key < node.keys[i]:
            i -= 1
        i += 1
        if len(node.children[i].keys) == (2 * tree.t) - 1:
            split_child(tree, node, i)
            if key > node.keys[i]:
                i += 1
        insert_non_full(tree, node.children[i], key)


def split_child(tree, parent_node, i):
    t = tree.t
    child_node = parent_node.children[i]
    new_node = BTreeNode(leaf=child_node.leaf)
    parent_node.children.insert(i + 1, new_node)
    parent_node.keys.insert(i, child_node.keys[t - 1])
    new_node.keys = child_node.keys[t:(2 * t - 1)]
    child_node.keys = child_node.keys[0:(t - 1)]
    if not child_node.leaf:
        new_node.children = child_node.children[t:(2 * t)]
        child_node.children = child_node.children[0:t]

Kiritish jarayonidagi asosiy funksiyalar:

• insert(tree, key): Bu asosiy kiritish funksiyasi. U ildiz tugunining to'laligini tekshiradi. Agar to'la bo'lsa, u ildizni bo'ladi va yangi ildiz yaratadi. Aks holda, kalitni daraxtga kiritish uchun insert_non_full funksiyasini chaqiradi.
• insert_non_full(tree, node, key): Bu funksiya kalitni to'liq bo'lmagan tugunga kiritadi. Agar tugun barg tugun bo'lsa, u kalitni tugunga kiritadi. Agar tugun barg tugun bo'lmasa, u kalitni kiritish uchun tegishli bola tugunini topadi. Agar bola tuguni to'la bo'lsa, u bola tugunini bo'ladi va keyin kalitni tegishli bola tuguniga kiritadi.
• split_child(tree, parent_node, i): Bu funksiya to'la bola tugunini bo'ladi. U yangi tugun yaratadi va kalitlarning yarmini va bolalarni to'la bola tugunidan yangi tugunga o'tkazadi. Keyin u o'rtadagi kalitni to'la bola tugunidan ota tugunga kiritadi va ota tugunning bolalar ko'rsatkichlarini yangilaydi.

O'chirish operatsiyasi

O'chirish operatsiyasi ham xuddi shunday murakkab bo'lib, aka-uka tugunlaridan kalitlarni olish yoki muvozanatni saqlash uchun tugunlarni birlashtirishni o'z ichiga oladi. To'liq amalga oshirish turli xil yetishmovchilik holatlarini boshqarishni talab qiladi. Qisqalik uchun, biz bu yerda batafsil o'chirishni amalga oshirishni chetlab o'tamiz, ammo u o'chiriladigan kalitni topish, agar mumkin bo'lsa aka-uka tugunlaridan kalitlarni olish va agar kerak bo'lsa tugunlarni birlashtirish funksiyalarini o'z ichiga oladi.

Unumdorlikni hisobga olish

B-tree indeksining unumdorligi bir nechta omillarga bog'liq:

• Tartib (t): Yuqori tartib daraxt balandligini pasaytiradi, disk I/O operatsiyalarini minimallashtiradi. Biroq, u har bir tugunning xotira izini ham oshiradi. Optimal tartib disk bloki hajmi va kalit hajmiga bog'liq. Masalan, 4KB disk bloklari bo'lgan tizimda, har bir tugun blokning sezilarli qismini to'ldirishi uchun 't' tanlanishi mumkin.
• Disk I/O: Asosiy unumdorlik tor doirasi disk I/O hisoblanadi. Diskga kirishlar sonini minimallashtirish juda muhimdir. Tez-tez foydalaniladigan tugunlarni xotirada keshda saqlash kabi usullar unumdorlikni sezilarli darajada oshirishi mumkin.
• Kalit hajmi: Kichikroq kalit o'lchamlari yuqori tartibga imkon beradi, bu esa sayozroq daraxtga olib keladi.
• Bir vaqtda ishlash: Bir vaqtda ishlaydigan muhitlarda ma'lumotlar yaxlitligini ta'minlash va poyga shartlarini oldini olish uchun tegishli blokirovka mexanizmlari muhim ahamiyatga ega.

Optimallashtirish usullari

Bir nechta optimallashtirish usullari B-tree unumdorligini yanada oshirishi mumkin:

• Keshga olish: Tez-tez foydalaniladigan tugunlarni xotirada keshga olish disk I/O'sini sezilarli darajada kamaytirishi mumkin. Keshni boshqarish uchun eng kam yaqinda ishlatilgan (LRU) yoki eng kam tez-tez ishlatilgan (LFU) kabi strategiyalar qo'llanilishi mumkin.
• Yozish buferlash: Yozish operatsiyalarini guruhlash va ularni diskka kattaroq bo'laklarda yozish yozish unumdorligini oshirishi mumkin.
• Oldindan yuklash: Kelajakdagi ma'lumotlarga kirish tartiblarini kutish va ma'lumotlarni keshga oldindan yuklash kechikishni kamaytirishi mumkin.
• Siqish: Kalitlar va ma'lumotlarni siqish saqlash joyini va I/O xarajatlarini kamaytirishi mumkin.
• Sahifani tekislash: B-tree tugunlarining disk sahifasi chegaralariga moslashtirilishini ta'minlash I/O samaradorligini oshirishi mumkin.

Haqiqiy dunyo ilovalari

B-tree'lar turli xil ma'lumotlar bazasi tizimlarida va fayl tizimlarida keng qo'llaniladi. Quyida bir nechta muhim misollar keltirilgan:

• Relyatsion ma'lumotlar bazalari: MySQL, PostgreSQL va Oracle kabi ma'lumotlar bazalari indekslash uchun B-tree'larga (yoki ularning variantlariga, masalan, B+ tree'larga) juda tayanadi. Bu ma'lumotlar bazalari global miqyosda elektron tijorat platformalaridan tortib moliyaviy tizimlargacha bo'lgan keng doiradagi ilovalarda qo'llaniladi.
• NoSQL ma'lumotlar bazalari: Couchbase kabi ba'zi NoSQL ma'lumotlar bazalari ma'lumotlarni indekslash uchun B-tree'lardan foydalanadi.
• Fayl tizimlari: NTFS (Windows) va ext4 (Linux) kabi fayl tizimlari katalog tuzilmalarini tashkil etish va fayl metama'lumotlarini boshqarish uchun B-tree'lardan foydalanadi.
• O'rnatilgan ma'lumotlar bazalari: SQLite kabi o'rnatilgan ma'lumotlar bazalari B-tree'lardan asosiy indekslash usuli sifatida foydalanadi. SQLite odatda mobil ilovalarda, IoT qurilmalarida va boshqa resurs cheklangan muhitlarda topiladi.

Singapurda joylashgan elektron tijorat platformasini ko'rib chiqing. Ular mahsulot qidiruvlarini, kategoriya bo'yicha ko'rib chiqishni va narxga asoslangan filtrlashni samarali boshqarish uchun mahsulot ID'lari, kategoriya ID'lari va narx bo'yicha B-tree indekslariga ega MySQL ma'lumotlar bazasidan foydalanishlari mumkin. B-tree indekslari platformaga millionlab mahsulotlar bo'lgan ma'lumotlar bazasida ham tegishli mahsulot ma'lumotlarini tezda olish imkonini beradi.

Yana bir misol - yuklarni kuzatish uchun PostgreSQL ma'lumotlar bazasidan foydalanadigan global logistika kompaniyasi. Ular yuk ID'lari, sanalari va joylashuvlari bo'yicha B-tree indekslaridan yuk ma'lumotlarini kuzatish maqsadida va unumdorlik tahlili uchun tezda olish uchun foydalanishlari mumkin. B-tree indekslari ularga o'zlarining global tarmog'ida yuk ma'lumotlarini samarali so'rash va tahlil qilish imkonini beradi.

B+ daraxtlari: Umumiy variant

B-tree'ning mashhur varianti B+ tree hisoblanadi. Asosiy farq shundaki, B+ tree'da barcha ma'lumotlar yozuvlari (yoki ma'lumotlar yozuvlariga ko'rsatkichlar) barg tugunlarida saqlanadi. Ichki tugunlar faqat qidiruvni boshqarish uchun kalitlarni o'z ichiga oladi. Bu tuzilma bir nechta afzalliklarni taqdim etadi:

• Yaxshilangan ketma-ket kirish: Barcha ma'lumotlar barglarda joylashganligi sababli, ketma-ket kirish samaraliroq bo'ladi. Barg tugunlari ko'pincha ketma-ket ro'yxatni tashkil qilish uchun bir-biriga bog'langan bo'ladi.
• Yuqori tarqalish ko'rsatkichi: Ichki tugunlar ko'proq kalitlarni saqlashi mumkin, chunki ular ma'lumotlar ko'rsatkichlarini saqlashga ehtiyoj sezmaydi, bu esa sayozroq daraxtga va kamroq diskga kirishga olib keladi.

MySQL va PostgreSQL kabi ko'pgina zamonaviy ma'lumotlar bazasi tizimlari shu afzalliklari tufayli indekslash uchun asosan B+ tree'lardan foydalanadi.

Xulosa

B-tree'lar ma'lumotlar bazasi dvigateli dizaynida asosiy ma'lumotlar tuzilmasi bo'lib, turli xil ma'lumotlarni boshqarish vazifalari uchun samarali indekslash imkoniyatlarini ta'minlaydi. B-tree'larning nazariy asoslarini va amaliy amalga oshirish tafsilotlarini tushunish yuqori samarali ma'lumotlar bazasi tizimlarini qurish uchun juda muhimdir. Bu yerda keltirilgan Python amalga oshirilishi soddalashtirilgan versiya bo'lsa-da, u keyingi tadqiqot va tajribalar uchun mustahkam asos bo'ladi. Unumdorlik omillari va optimallashtirish usullarini hisobga olgan holda, dasturchilar B-tree'lardan keng doiradagi ilovalar uchun mustahkam va kengaytiriladigan ma'lumotlar bazasi yechimlarini yaratish uchun foydalanishlari mumkin. Ma'lumotlar hajmi o'sishda davom etar ekan, B-tree'lar kabi samarali indekslash usullarining ahamiyati faqat ortib boradi.

Qo'shimcha ma'lumot olish uchun B+ tree'lar, B-tree'larda bir vaqtda boshqarish va ilg'or indekslash usullari bo'yicha manbalarni o'rganing.